George Carlin sinh ngày 12 tháng 5 năm 1937 tại quận Manhattan[3][4], New York, Hoa Kỳ. Ông là con trai thứ hai của Patrick Carlin - một quản trị viên của cơ quan tiếp thị quốc gia thuộc tờ báo The New York Sun - và Mary Carlin - một thư ký.[5] Gia đình Carlin vốn mang nguồn gốc Ái Nhĩ Lan và George được nuôi dưỡng như là một thanh niên theo Công giáo, về sau này ông tự nhận mình là một người Công giáo Ái Nhĩ Lan.[6][7][8]

Thuở thiếu thời ông sống tại một căn hộ trên đường West 121st tại khu vực lân cận Manhattan, nơi mà ông và các bạn bè gọi là "Harlem Trắng" vì tên này nghe có vẻ ngầu hơn so với tên thật của điểm cao Morningside. Năm George Carlin mới 2 tháng tuổi, cha mẹ ông ly thân và từ đó ông được nuôi dạy bởi người mẹ.[9] Lớn lên ông theo học ở Trường Thánh thể Chúa (Corpus Christi School), một trường Công giáo tại giáo xứ địa phương thuộc Nhà thờ Thánh thể Chúa thành phố New York (Corpus Christi Church).[10][11] Sau 3 học kì, lúc 15 tuổi George Carlin bị buộc thôi học ở Trường Trung học Hồng y Hayes tại Bronx và theo học ở Trường Trung học Giám mục Dubois tại Harlem.[12] Mối quan hệ giữa George Carlin và mẹ ông không được tốt và ông thường xuyên bỏ nhà đi bụi.[13] Về sau, ông nhập ngũ, phục vụ trong Không lực Hoa Kỳ với vai trò kỹ thuật viên radar. Đơn vị của ông đóng quân tại Căn cứ không quân Barksdale ở Bossier City, Louisiana. Trong thời gian nhập ngũ, George Carlin cũng thường xuyên gặp rắc rối với cấp trên. Ông bị đánh giá là "vô dụng", từng bị đưa ra tòa án binh 3 lần và nhiều lần khác vi phạm kỷ luật của quân đội. Cuối cùng, Carlin bị loại ngũ vào ngày 29 tháng 7 năm 1957.[14]

Tuy nhiên, tài năng về kịch nghệ của Carlin sớm bộc lộ trong các trại hè Notre Dame tổ chức ở hồ Spofford tại Spofford, New Hampshire mà ông thường tham gia. Ông thường xuyên đạt các giải thưởng về nghệ thuật sân khấu trong thời gian tham gia trại và sau này, khi qua đời, một phần tro cốt của Carlin đã được rải tại khu vực diễn ra hội trại này.[15] Trong thời gian nhậm ngũ, George Carlin cũng bắt đầu làm DJ cho đài phát thanh KJOE ở thành phố Shreveport.